Diceritakan bahawa suku ini datangnya dari keturunan seorang bergelar Tok Mudim dari Pasai bernama Gemenyah yang diundang Sultan Johor ke negerinya untuk mengkhatankan puteranya setelah 24 orang sama bidang di negeri itu tidak berani melakukan demikian kerana takut akan mengorbankan si putera yang berdarah putih (menurut firasat ahli nujum diraja). Gemenyah berjaya menyunatkan putera tersebut tanpa sebarang bahaya, maka baginda sultan mengurniakan gelaran Khatib Raja sebagai tanda terima kasih serta menawar tetap di negeri Johor untuk mengajarkan agama Islam di sana.[2]

Gemanyah berlayar dari sana ke Kuala Pahang masuk Tanjom sampai ke Jelebu untuk memulakan kehidupan di sana. Beliau berkahwin dengan seorang perempuan bernama Dato' Temu di mana mereka berpindah ke Pantai Sungai Ujong (atau Pantai Layang-Layang); pasangan itu diberi izin Dato' Alun Tujuh dan Nenek Jenang selaku Tok Batin Maabut untuk meneroka tempat tersebut. Mereka dan anak-anak perempuan menjadi asas kepada suku ini.[2]